LLM应用全流程开发课件

Appearance

即时模式 (Live Mode) ​

即时模式（Live Mode）是 Gradio 的一个强大功能，允许界面在用户输入更改时自动更新，无需用户点击提交按钮。本文将详细介绍即时模式的使用方法、适用场景以及与流式组件的结合应用。

基本用法 ​

要启用即时模式，只需在创建 Interface 时设置 live=True 参数：

python
import gradio as gr

def calculator(num1, operation, num2):
    if operation == "add":
        return num1 + num2
    elif operation == "subtract":
        return num1 - num2
    elif operation == "multiply":
        return num1 * num2
    elif operation == "divide":
        if num2 == 0:
            raise gr.Error("不能除以零！")
        return num1 / num2

demo = gr.Interface(
    calculator,
    [
        "number",
        gr.Radio(["add", "subtract", "multiply", "divide"]),
        "number"
    ],
    "number",
    live=True  # 启用即时模式
)

demo.launch()

在上面的例子中，每当用户更改数字或选择不同的操作时，计算结果都会立即更新，无需点击提交按钮。

即时模式的工作原理 ​

当启用即时模式时，Gradio 会监听输入组件的变化事件。一旦检测到任何输入发生变化，界面会自动将所有当前输入值传递给预测函数并更新输出。

注意事项：

  • 在即时模式下，界面通常不会显示提交按钮
  • 对于某些组件（如文本框），变化事件可能在每次按键后触发，这可能导致频繁的函数调用

适用场景 ​

即时模式特别适合以下场景：

  1. 实时反馈：用户需要立即看到更改效果的应用，如图像编辑器、文本格式化工具等
  2. 参数调整：需要通过滑块或其他控件调整参数并立即查看结果的应用
  3. 交互式可视化：数据可视化工具，用户可以调整参数并立即看到图表变化
  4. 简单的计算器：如上例所示的计算器应用

与流式组件结合使用 ​

Gradio 的即时模式与流式组件结合使用时特别强大。例如，您可以创建一个实时网络摄像头图像处理应用：

python
import gradio as gr
import numpy as np

def process_image(img, brightness):
    # 增加图像亮度
    if img is None:
        return None
    processed = np.clip(img * brightness, 0, 255).astype(np.uint8)
    return processed

demo = gr.Interface(
    process_image,
    [
        gr.Image(sources=["webcam"], streaming=True),  # 流式网络摄像头输入
        gr.Slider(minimum=0.1, maximum=3.0, value=1.0, step=0.1, label="亮度")
    ],
    "image",
    live=True  # 启用即时模式
)

demo.launch()

在这个例子中，网络摄像头会持续捕获图像并发送到后端进行处理，处理后的图像会实时显示在输出组件中。用户调整亮度滑块时，效果会立即应用到摄像头图像上。

流式组件的类型和行为 ​

Gradio 中有几种支持流式模式的组件：

  1. 图像组件（Image）：

    python
    gr.Image(sources=["webcam"], streaming=True)

  2. 音频组件（Audio）：

    python
    gr.Audio(source="microphone", streaming=True)

流式组件的行为区别：

  • 非流式组件（streaming=False）：组件会在用户完成交互（如停止录音）后一次性发送数据
  • 流式组件（streaming=True）：组件会在交互过程中持续发送数据流

延迟控制 ​

在某些情况下，您可能需要控制即时更新的频率，特别是对于计算密集型函数。Gradio 提供了两个参数来控制流式数据的发送频率：

python
demo = gr.Interface(
    fn=process_streaming_data,
    inputs=gr.Audio(source="microphone", streaming=True),
    outputs="audio",
    live=True,
    stream_every=0.5,  # 每0.5秒发送一次数据
    time_limit=30  # 最长流式时间限制为30秒
)

参数说明：

  • stream_every：数据块发送到后端的时间间隔（秒）
  • time_limit：允许流式传输的最长时间（秒）

生成器函数与流式输出 ​

在即时模式下使用生成器函数可以实现渐进式更新输出：

python
import time
import gradio as gr

def slowly_build_string(text):
    result = ""
    for char in text:
        result += char
        yield result  # 渐进式生成结果
        time.sleep(0.1)

demo = gr.Interface(
    fn=slowly_build_string,
    inputs="text",
    outputs="text",
    live=True
)

demo.launch()

在这个例子中，用户输入的文本会逐字符渐进式地在输出框中构建，创造出打字机效果。

实际案例：实时语音识别 ​

以下是一个结合即时模式和流式音频的实时语音识别示例：

python
import gradio as gr
from transformers import pipeline

# 加载语音识别模型
asr = pipeline("automatic-speech-recognition", "facebook/wav2vec2-base-960h")

def transcribe_audio(audio):
    if audio is None:
        return ""
    text = asr(audio)["text"]
    return text

demo = gr.Interface(
    fn=transcribe_audio,
    inputs=gr.Audio(source="microphone", streaming=True),
    outputs="text",
    live=True,
    stream_every=1.0  # 每秒识别一次
)

demo.launch()

这个应用会持续捕获用户的麦克风输入，并实时将语音转换为文本。

总结 ​

即时模式是 Gradio 中实现高度交互式应用的强大工具。通过与流式组件结合使用，您可以创建反应灵敏、用户友好的实时应用，如图像处理、语音识别和实时数据可视化等。

使用即时模式时，请记住：

  • 设置 live=True 启用即时更新
  • 对于需要流式输入的组件，设置 streaming=True
  • 使用 stream_every 和 time_limit 控制流式传输的频率和时长
  • 考虑使用生成器函数实现渐进式输出更新

通过这些功能，您可以打造出流畅、响应迅速的机器学习应用，提供卓越的用户体验。